Confidence-Aware Tool Orchestration for Robust Video Understanding
置信度感知的工具编排实现鲁棒视频理解
🧭 Agent 工具编排 · 置信度感知推理
NTU Singapore · University of Minnesota, Twin Cities · UNIST
提出 Robust-TO 框架，通过逐帧可靠性评估与异构工具编排，将视频推理在干净/受损输入下的准确率提升至 56.4%/54.3%，远超基线。
📌 工作参考价值（4 点）
- 多媒体内容理解鲁棒性：商品视频/直播切片中存在模糊、遮挡等问题，可引入逐帧置信度评分，避免“盲目信任”导致的预测偏差。
- 工具编排与证据合成：将异构感知模块（OCR、目标检测、动作识别）抽象为统一证据接口，在推荐系统多模态特征融合时，按可靠性加权，提升融合质量。
- 置信度引导的强化学习奖励设计：GRPO 奖励结合正确性、证据可靠性和效率，可用于训练推荐模型在信息不足时主动请求高价值特征，实现成本-收益平衡。
- 在 Agentic 系统中，面对传感器或日志噪声，类似的三层置信度合成策略（高/中/低）可用于动态调整决策权重。